In 1514 is er al sprake van een goed ter Rivieren, de naam verwijst naar de aanwezigheid van de meanderende rivier, de Grote Schijn en de voormalige Herentalse vaart die door het domein liepen.
Zoals de meeste kasteeldomeinen heeft ook het Rivierenhof een bewogen geschiedenis met verschillende eigenaars achter de rug. Het domein werd in de 16de eeuw aangelegd als buitenverblijf met als eigenaar Magnus Bullestraete. Van 1618 tot 1773 was het eigendom van de Jezuïeten van Antwerpen, die in 1619 ook eigenaar werden van het aanpalende Sterckshof. Na de opheffing van de orde (in 1773) werden Rivieren- en Sterckshof opgekocht door bankier J.B. Cogels die het in 1779 verbouwde in Vlaamse renaissancestijl, naar een ontwerp van Ch. De Wailly, hofarchitect van Lodewijk XVI. Decennia lang was het eigendom van de familie Cogels, daarna kwam het in handen van de adellijke familie Bosschaert de Bouwel. In 1921 werd door toedoen van provinciaal griffier J. Schobbens, het hele domein aangekocht door de provincie Antwerpen die het vanaf 1923 openstelde voor publiek. Het Rivierenhof omvat vandaag een café-restaurant en galerij voor kunsttentoonstellingen.